聯(lián)系我們
導(dǎo)讀：在這個科技高度發(fā)達(dá)的時代，百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度，到處充斥著一些重復(fù)的內(nèi)容，對用戶的訪問造成很大的困擾。因此，百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷，對重
發(fā)表日期：2019-08-07
文章編輯：興田科技
瀏覽次數(shù)：13283
標(biāo)簽：
在這個科技高度發(fā)達(dá)的時代，百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度，到處充斥著一些重復(fù)的內(nèi)容，對用戶的訪問造成很大的困擾。因此，百度需要對網(wǎng)頁重復(fù)進(jìn)行判斷，對重復(fù)的網(wǎng)頁，只選取一些高質(zhì)量的我那工業(yè)，共用戶瀏覽。然而，現(xiàn)有技術(shù)中一般是通過比較兩個頁面的內(nèi)容和借點，來確認(rèn)兩個頁面的相似度。
這種方法能夠計算的比較準(zhǔn)確，可時間復(fù)雜度太高，計算很費(fèi)時間。通過對一個頁面中的某些重要信息進(jìn)行簽名，然后比較兩個頁面的簽名，來計算相似度，這種方式比較簡單高效，計算速度比較快，比較適合百度這種海量信息的應(yīng)用場景。
1，網(wǎng)站重復(fù)內(nèi)容的判斷
A，獲取多個網(wǎng)頁;
B，分別提取網(wǎng)頁的網(wǎng)頁正文;
C，從網(wǎng)頁正文中提取一個或多個句子，并根據(jù)一個或多個句子計算網(wǎng)頁正文句子簽名;
D，根據(jù)網(wǎng)頁正文句子簽名對多個網(wǎng)頁進(jìn)行聚類;
E，針對每一類下的網(wǎng)頁，計算網(wǎng)頁的附加簽名;
F，根據(jù)附加簽名判斷每一類下的網(wǎng)頁是否重復(fù)。
網(wǎng)站頁面基本架構(gòu)
提取正文
A，對網(wǎng)頁進(jìn)行分塊;
B，對分塊后的網(wǎng)頁進(jìn)行塊過濾，以獲取包含網(wǎng)頁正文的內(nèi)容快;
C，從內(nèi)容塊中提取網(wǎng)頁正文。
正文分句
A，對網(wǎng)頁正文進(jìn)行分句;
在本步驟中，可利用分號，句號，感嘆號等表示句子完結(jié)的標(biāo)志符號來對網(wǎng)頁正文進(jìn)行分句。此外，還可以通過網(wǎng)頁正文的視覺信息來對網(wǎng)頁正文進(jìn)行分句。
B，對分句后的網(wǎng)頁正文進(jìn)行過濾及轉(zhuǎn)換;
在步驟中，先過濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對網(wǎng)頁重復(fù)判斷不起決定性作用的信息。隨后，對句子進(jìn)行轉(zhuǎn)換，例如，進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡體轉(zhuǎn)換，以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。
C，從過濾及轉(zhuǎn)換后的網(wǎng)頁正文中提取長的一個或多個句子;
在本步驟中，過濾及轉(zhuǎn)換后的網(wǎng)頁正文提取出長的一個句子或者做場的預(yù)定數(shù)量連續(xù)句子的組合。例如，某個網(wǎng)頁實例中，經(jīng)過過濾及轉(zhuǎn)換后的某段長，遠(yuǎn)超其他句子，因此可選擇該段為網(wǎng)頁正文句子，或者選擇長的連續(xù)句子組合作為網(wǎng)頁正文句子。
D，對一個或多個句子進(jìn)行hash簽名運(yùn)算，以獲取網(wǎng)頁正文句子簽名。
simhash算法就是比較各網(wǎng)頁的附加簽名是否相同或相似來判斷網(wǎng)頁是否重復(fù)。具體來說，在比較利用simhash簽名運(yùn)算獲得的網(wǎng)頁正文簽名時，比較網(wǎng)頁正文簽名的不同位數(shù)，不同位越少，表示網(wǎng)頁重復(fù)的可能性越高，在比較其他的附加簽名時，若附加簽名相等，表示網(wǎng)頁在該緯度上重復(fù)。
總結(jié)：
1、兩個網(wǎng)頁的真實標(biāo)題簽名相同。
2、兩個我那工業(yè)的網(wǎng)頁內(nèi)容簽名相同。
3、兩個網(wǎng)頁的網(wǎng)頁正文簽名的不同位數(shù)小于6.。
4、兩個網(wǎng)頁的網(wǎng)頁位置簽名相同，并且url文件名簽名相同。
5、評論塊簽名、資源簽名、標(biāo)簽標(biāo)題簽名、摘要簽名、url文件名簽名中有三個簽名相同。
附加信息整站判斷重復(fù)標(biāo)準(zhǔn)：
更多新聞
2020
關(guān)于seo，中國人的飲食講究“色香俱全”，因為相同的口味，不同的視覺營造，會給使用者帶來不同層次的體驗。各種感官的交互作用是人類的一種疾病，也是企業(yè)界研
View details
2020
關(guān)于seo，只有很少的網(wǎng)站不需要seo流量，seo對于網(wǎng)站產(chǎn)品非常重要，科學(xué)的seo結(jié)果意味著流量，意味著點擊，意味著后續(xù)的轉(zhuǎn)換。話又說回來，網(wǎng)站建設(shè)的目的是什么？
View details
2020
關(guān)于深圳seo，有了搜索引擎，seo永遠(yuǎn)不會消失。Seo入門簡單，行業(yè)需求旺盛，不斷有新加入者，掌握Seo的基本概念和相應(yīng)的優(yōu)化方法，很有必要。即：只要是接觸到seo，就
View details
2020
關(guān)于seo，伴隨著網(wǎng)絡(luò)時代的到來，網(wǎng)絡(luò)營銷在整個營銷活動中的比重越來越大，目前國內(nèi)號稱網(wǎng)絡(luò)營銷專家的公司和個人多如牛毛，很大程度上將與網(wǎng)絡(luò)相關(guān)的工作歸
View details
